package com.yn.module.spider.utils.base;

import java.util.ArrayList;
import java.util.List;
import java.util.Map;

/**
 * @description: 数据爬取主类
 * @author: 叶甯
 * @create: 2022/5/31 13:32
 * @since: 1.0.0
 * @copyright (C), 2022, https://gitee.com/johnny .All rights reserved.
 */
public interface BaseSpiderService {
    /**
     * 当前页标识
     */
    String CURRENT_PAGE = "web_spider_current_page";
    String DATA_VERSION = "web_spider_data_version";
    /**
     * 删除有可能不完全的数据
     * 主表：删除当前页
     * 明细表，删除最大pid对应的明细数据
     */
    void deleteCurrentData(Map<String, Object> delParams);

    /**
     * 数据库保存
     */
    void saveData2Db(String json, Map<String, Object> selfParams) throws Exception;

    /**
     * 设置http请求参数和自定义的请求参数
     * @param mainObj 主表信息，只有查询明细表时才有用处
     * @param httpParams
     * @param selfParams
     */
    void setParams(Object mainObj,Map<String,Object> httpParams,Map<String,Object> selfParams);

}
